🦊FLUX.1 Kontext

🏠 | 🦊雑に学ぶComfyUI

👈 | 🦊FLUX.1 Tools

👉 |

自然言語でリライトやスタイル転送、着せ替え等の編集を行えるFlux.1ベースのモデルです

pro/max/devの三種類ありますが、pro/maxはAPIノードからのみの提供です

参考

https://docs.comfy.org/tutorials/flux/flux-1-kontext-dev公式Doc

https://docs.bfl.ai/guides/prompting_guide_kontext_i2iプロンプトガイド

https://www.reddit.com/r/StableDiffusion/comments/1lx8lot/kontext_presets_all_system_prompts/Kontext Presets

モデルのダウンロード

https://huggingface.co/Comfy-Org/flux1-kontext-dev_ComfyUI/tree/main/split_files/diffusion_modelsflux1-dev-kontext_fp8_scaled.safetensors

https://huggingface.co/comfyanonymous/flux_text_encoders/blob/main/clip_l.safetensorsclip_l.safetensors

https://huggingface.co/comfyanonymous/flux_text_encoders/blob/main/t5xxl_fp16.safetensorst5xxl_fp16.safetensors or https://huggingface.co/comfyanonymous/flux_text_encoders/blob/main/t5xxl_fp8_e4m3fn_scaled.safetensorst5xxl_fp8_e4m3fn_scaled.safetensors

https://huggingface.co/black-forest-labs/FLUX.1-schnell/blob/main/ae.safetensorsae.safetensors

code:models

📂ComfyUI/

└── 📂models/

├── 📂diffusion_models/

│ └── flux1-dev-kontext_fp8_scaled.safetensors

├── 📂clip/

│ ├── clip_l.safetensors

│ └── t5xxl_fp8_e4m3fn.safetensors

└── 📂vae/

└── ae.safetensors

workflow

https://gyazo.com/85217f462f99e08d24cdd10814e64ed4

FLUX.1 Kontext.json

🟩FluxKontextImageScaleノードで入力画像をリサイズする

これはhttps://github.com/comfyanonymous/ComfyUI/blob/170c7bb90c1a85bae4689d28328265053f0fa7ee/comfy_extras/nodes_flux.py#L84PREFERED_KONTEXT_RESOLUTIONSの中から入力画像のアスペクト比に近いものが選ばれる

Scale Image to Total Pixelsノードなど別のノードでリサイズしても動くが、出力画像のサイズは勝手にPREFERED_KONTEXT_RESOLUTIONSのどれかに変わってしまう

GGUF

モデル

https://huggingface.co/QuantStack/FLUX.1-Kontext-dev-GGUF/tree/mainflux1-kontext-dev.gguf

$ ComfyUI/models/unet/flux1-kontext-dev.gguf

https://gyazo.com/aed447ac5bb7df55662f3bd5aad903d3

FLUX.1 Kontext_gguf.json

🟩Scale Image to Total Pixelsノードで適当なサイズにリサイズし、latentにしたものをReferenceLatentに接続する

画像編集

Change the hair to a messy blonde bob.

https://gyazo.com/28d0fe4dfce60edfc8aab082b9979ce1https://gyazo.com/954bc29275c4bb2d7433141f942bd0ab

This character is made out of Lego blocks.

https://gyazo.com/9cb22fffbc3c4252d73d8126b551112chttps://gyazo.com/e1525d66b933d4a87fc5d4ee612ee7f0

オブジェクト除去

remove the woman

https://gyazo.com/4fec53b106bf57aeefe430e486942fbfhttps://gyazo.com/b9cdf4eaee01dbe92ea7a6691f1a3fe6

スタイル転送

https://gyazo.com/be50593020fb4c252a6094982e0ccc7c

FLUX.1 Kontext_style-transfer.json

Using this style,A boy wearing a dinosaur face hat.

referenceとは別の解像度で生成したいときはEmptySD3LatentImageノードにしても良い

Subject-Driven Image Generation

Portrait photo of a woman wearing a T-shirt with this logo, studio

https://gyazo.com/8287eda74d204078fafef479bcf16358https://gyazo.com/17103a7a40e0e8b44a97dc81906d0d3e

テキスト置き換え

Replace '[OPEN]' with '[FLUX]'

https://gyazo.com/ac1594d861c1357dad7ed73d229ffef2https://gyazo.com/c91c136c690e7a82c1f964b1659d370b

ガイドによる位置指定

Add a British phone booth in the box,monochrome photography

https://gyazo.com/378ec283b1acabfe3bc9af5fc02b013fhttps://gyazo.com/3275c49767be7cf8487af00a41a9cc52

雑コラみたいな置き方だbsahd.icon

複数のReference

https://gyazo.com/763bfe253a62e8270726fdbf23ace9a6

FLUX.1 Kontext_multi_reference_gguf.json

Convert two characters into pixel 3D models and place them in the same field

stitchノードで画像を横並べしたものを入力

https://gyazo.com/3b0edddfe165c946ccb911adf500895e

FLUX.1 Kontext_multi_reference_2_gguf.json

🟩Referencelatentを二個繋げる

どっちが正解かはわからない(二回目 cf.🦊OmniGen2)nomadoor.icon

UniWorld-V1とかOmniGen2と違って参照画像を見てるわけじゃなくてVAEベースの編集してるだけだから(多分きっとおそらく)入力したときの形とかポジションの影響をもろに受けるnomadoor.icon

Subject-Driven Image GenerationとしてはPhantomとかのほうが優秀？

FLUX.1 Kontextで雑コラをリファインする